#evaluation protocol

3 篇

Training seeds and model-selection stability in recommender-system evaluation

推荐系统评估中的训练种子与模型选择稳定性

🧭 推荐系统评估可复现性与模型选择

Aalborg University · Johannes Kepler University Linz · ISISTAN · CONICET-UNCPBA

固定数据划分仅变训练种子，证明单种子结果会高估推荐模型评估稳定性，种子应纳入评估协议

📌 工作参考价值（4 点）

离线对比召回/排序模型时，同一配置至少跑 3-5 个训练 seed，报告 metric 均值±方差；若两组模型 score 差异落在 seed 方差内，不要下“有提升”结论。
做 hyperparameter tuning / model selection 时，不要用单 seed 的 validation 最优直接定配置；可用 multi-seed validation 平均或 bootstrap，并检查 validation→test 的转移是否稳定。
除了 nDCG/Recall，同时看 top-k 列表的 Jaccard/agreement；分数接近但列表重叠低时，线上效果可能不稳定，尤其影响广告/推荐位的曝光一致性。
若业务 pipeline 含 dropout、negative sampling、masking 等随机机制，固定 seed 的离线报告会掩盖真实方差；在 launch review 中把 seed 稳定性作为通过标准。

Eval | 2026-09-02 | cs.IR | score 7/10

有监督微调何时降低指令敏感性？

🧭 LLM 指令敏感性 · SFT 训练指令依赖 ★ 深度解读

Hankuk University of Foreign Studies

SFT对指令敏感性的影响随模型规模、训练指令和评估协议变化，不一定降低鲁棒性

📌 工作参考价值（4 点）

在电商搜索相关性/排序模型的 LLM 微调中，上线前用 10+ 条语义等价指令变体评估，报告指令敏感度（标准差），避免单条 prompt 造成的假象；尤其对于 1.7B/4B 小模型，固定指令 SFT 本身就能大幅降低敏感度，可以作为快速鲁棒化手段。
对于 >8B 模型的 LoRA 微调，训练指令的选择会影响鲁棒性：在 Qwen3-8B 上简短指令（TA）比详细指令（TB/TC）带来更低的 post-SFT 敏感度，且差异显著；因此在大模型任务适配时，应尝试多个训练 prompt 并用 bootstrap 检验敏感性差异。
评估协议选择会直接改变鲁棒性结论：在 ESCI 上自由生成（greedy+prefix）显示 SFT 后更敏感，而强制选择（label likelihood）没有该问题，即使 valid-label 率 >99.8%。在搜索排序场景用 likelihood scoring 比生成式解码更稳定，能减少评估伪影。
任务效果和指令鲁棒性要分开监控：SFT 可以提升 nDCG/准确率但可能增加指令敏感性（如 Qwen3-8B + TB），不要用平均指标代替鲁棒性评估。

Training | 2026-08-27 | cs.IR | score 8/10

CAVEWOMAN：大模型在输入输出压缩下的行为研究

🧭 LLM 推理成本与语义保真度评估

Independent · Adobe Research

输入压缩反而增加成本并损害准确性，输出压缩能省钱但导致语义偏离基线

📌 工作参考价值（4 点）

在电商/搜索等依赖 LLM 生成文案、推荐理由等的场景中，不要通过压缩用户输入（如缩写查询词、省略语法）来节省成本，实验证明这会迫使模型输出更长回复，总成本反而上升，且准确性显著下降。
输出压缩（如限定模型简短回答）能有效降低 API 调用成本，尤其在使用开放权重模型时；但需注意，即使答案正确，其表面文本可能与无压缩基线产生语义偏离，因此需额外监控生成内容与原始风格的一致性。
实现时可将输出压缩作为成本控制手段，结合语义对齐度指标（如 entailment 检测）确保压缩后内容不违背原意，适合高频生成场景（如自动回复、消息推送）。
如果使用自建模型，可按 token 计费时优先压缩输出；若模型输出长度不可控，可设置最大 token 数来硬性限制，但需权衡准确性和语义偏移。

LLM | 2026-06-22 | HF Daily | score 7/10